🌧️ Superlinked — фреймворк для гибридного поиска, где вектора и метаданные работают вместе. Этот инструмент решает главную боль RAG-систем и рекомендательных сервисов — как эффективно комбинировать эмбеддинги с структурированными данными.
В отличие от чистых векторных поисков, здесь можно создать единую модель, где описание товара и его оценка влияют на результаты совместно. Проект широкой интеграции: от тестов в Jupyter-ноутбуке до продакшн-развёртывания REST API одним командой.
🤖 GitHub
@data_analysis_ml
В отличие от чистых векторных поисков, здесь можно создать единую модель, где описание товара и его оценка влияют на результаты совместно. Проект широкой интеграции: от тестов в Jupyter-ноутбуке до продакшн-развёртывания REST API одним командой.
🤖 GitHub
@data_analysis_ml
🐼 Pandas-задача с подвохом: “Почему ничего не работает?”
📘 Условие
Дано:
Ты хочешь:
1) Для каждого пользователя найти средний
2) Заполнить пропущенные значения
Ты пишешь код:
Ожидаешь, что пропущенное значение будет заменено на `85.0`.
Но вместо этого… возникает ошибка или неверный результат.
❓ Вопрос:
1) Почему этот код не работает как ты ожидаешь?
2) Какое поведение
3) Как правильно решить задачу?
---
✅ Разбор:
💥 Проблема в `.apply()` + присваивание по индексу
Функция `groupby().apply()` возвращает **объединённый результат с вложенным индексом**, который **не совпадает с индексом исходного DataFrame**.
Пример:
```python
df.groupby('user_id')['score'].apply(lambda x: x.fillna(x.mean()))
```
→ возвращает Series с уровнем индекса: `(user_id, original_index)`,
а `df['score_filled'] = ...` ожидает индекс, совпадающий с `df.index`.
📌 Результат: pandas либо выбрасывает `ValueError`, либо вставляет неправильные значения.
✅ Правильные способы
Способ 1: использовать `transform` (индекс сохраняется!):
```python
df['score_filled'] = df['score'].fillna(
df.groupby('user_id')['score'].transform('mean')
)
```
Способ 2: в два шага:
```python
user_means = df.groupby('user_id')['score'].transform('mean')
df['score_filled'] = df['score']
df.loc[df['score'].isna(), 'score_filled'] = user_means
```
🎯 Так `NaN` будет корректно заполнен значением `85.0`.
⚠️ Подвох
• `groupby().apply()` не гарантирует совпадение индексов
• `transform()` — безопаснее, если хочешь сохранить структуру
• Даже опытные часто используют `apply` “по привычке” и попадают в ловушку
• Такие ошибки не всегда приводят к crash — они хуже: создают **тихие баги**
📘 Условие
Дано:
DataFrame df:
import pandas as pd
import numpy as np
df = pd.DataFrame({
'user_id': [1, 1, 2, 2, 3, 3],
'score': [100, 90, np.nan, 85, 75, 95]
})
Ты хочешь:
1) Для каждого пользователя найти средний
score, 2) Заполнить пропущенные значения
score средним по этому пользователю.Ты пишешь код:
df['score_filled'] = df.groupby('user_id')['score'].apply(lambda x: x.fillna(x.mean()))
Ожидаешь, что пропущенное значение будет заменено на `85.0`.
Но вместо этого… возникает ошибка или неверный результат.
❓ Вопрос:
1) Почему этот код не работает как ты ожидаешь?
2) Какое поведение
apply() вызывает подвох? 3) Как правильно решить задачу?
---
✅ Разбор:
💥 Проблема в `.apply()` + присваивание по индексу
Функция `groupby().apply()` возвращает **объединённый результат с вложенным индексом**, который **не совпадает с индексом исходного DataFrame**.
Пример:
```python
df.groupby('user_id')['score'].apply(lambda x: x.fillna(x.mean()))
```
→ возвращает Series с уровнем индекса: `(user_id, original_index)`,
а `df['score_filled'] = ...` ожидает индекс, совпадающий с `df.index`.
📌 Результат: pandas либо выбрасывает `ValueError`, либо вставляет неправильные значения.
✅ Правильные способы
Способ 1: использовать `transform` (индекс сохраняется!):
```python
df['score_filled'] = df['score'].fillna(
df.groupby('user_id')['score'].transform('mean')
)
```
Способ 2: в два шага:
```python
user_means = df.groupby('user_id')['score'].transform('mean')
df['score_filled'] = df['score']
df.loc[df['score'].isna(), 'score_filled'] = user_means
```
🎯 Так `NaN` будет корректно заполнен значением `85.0`.
⚠️ Подвох
• `groupby().apply()` не гарантирует совпадение индексов
• `transform()` — безопаснее, если хочешь сохранить структуру
• Даже опытные часто используют `apply` “по привычке” и попадают в ловушку
• Такие ошибки не всегда приводят к crash — они хуже: создают **тихие баги**
Forwarded from Machinelearning
Теперь Qwen3 можно развернуть через Ollama, LM Studio, SGLang и vLLM — выбирайте удобный формат (GGUF, AWQ или GPTQ) для локального деплоя.
Все модели доступны в коллекции Qwen3 на Hugging Face и ModelScope:
@ai_machinelearning_big_data
#Qwen
Please open Telegram to view this post
VIEW IN TELEGRAM
🌐 Reader от Jina AI — переводчик веб-страниц для языковых моделей. Этот необычный проект решает проблему всех RAG-систем, превращая контент веб-страниц в удобоваримый для LLM формат. Просто добавьте
Также запрос через
🤖 GitHub
@data_analysis_ml
https://r.jina.ai/ перед любой ссылкой и получите очищенный от рекламы, JS-кода и лишних элементов текст с автоматически подписанными изображениями. Также запрос через
s.jina.ai не просто выдает список ссылок, а сразу загружает и обрабатывает топ-5 результатов. Технология уже используется в продакшене и полностью бесплатна. 🤖 GitHub
@data_analysis_ml
🩺 HealthBench — новый бенчмарк от OpenAI для оценки ИИ в медицине
OpenAI представила HealthBench — масштабный бенчмарк, разработанный для оценки возможностей языковых моделей в медицинских сценариях. Он создан в сотрудничестве с 262 врачами из 60 стран и включает 5 000 реалистичных медицинских диалогов.
🔍 Основные особенности HealthBench:
- Реалистичные кейсы: Диалоги отражают реальные взаимодействия между пациентами и врачами, охватывая различные медицинские специальности и контексты.
- Многоязычность: Бенчмарк поддерживает несколько языков, что позволяет оценивать модели в глобальном масштабе.
- Оценка по рубрикам: Каждый ответ модели оценивается по набору критериев, разработанных врачами, с учетом полноты, точности и уместности.
Открытый доступ: Код и данные доступны на GitHub, что способствует прозрачности и сотрудничеству в исследовательском сообществе.
HealthBench устанавливает новый стандарт для оценки ИИ в здравоохранении, обеспечивая более надежные и безопасные инструменты для пациентов и врачей.
🔗 Подробнее: https://openai.com/index/healthbench/
OpenAI представила HealthBench — масштабный бенчмарк, разработанный для оценки возможностей языковых моделей в медицинских сценариях. Он создан в сотрудничестве с 262 врачами из 60 стран и включает 5 000 реалистичных медицинских диалогов.
🔍 Основные особенности HealthBench:
- Реалистичные кейсы: Диалоги отражают реальные взаимодействия между пациентами и врачами, охватывая различные медицинские специальности и контексты.
- Многоязычность: Бенчмарк поддерживает несколько языков, что позволяет оценивать модели в глобальном масштабе.
- Оценка по рубрикам: Каждый ответ модели оценивается по набору критериев, разработанных врачами, с учетом полноты, точности и уместности.
Открытый доступ: Код и данные доступны на GitHub, что способствует прозрачности и сотрудничеству в исследовательском сообществе.
HealthBench устанавливает новый стандарт для оценки ИИ в здравоохранении, обеспечивая более надежные и безопасные инструменты для пациентов и врачей.
🔗 Подробнее: https://openai.com/index/healthbench/
This media is not supported in your browser
VIEW IN TELEGRAM
Сэм Альтман:
2025 — год ИИ-агентов
2026 — год научных исследований и прорывов
2027 — год, когда ИИ и робототехника действительно начнут взаимодействовать с физическим миром
Погнали!
@data_analysis_ml
2025 — год ИИ-агентов
2026 — год научных исследований и прорывов
2027 — год, когда ИИ и робототехника действительно начнут взаимодействовать с физическим миром
Погнали!
@data_analysis_ml
🔍 Что такое AssetGen 2.0?
AssetGen 2.0 — это новый фреймворк-от способный создавать высококачественные 3D-модели и текстуры на основе текстовых или визуальных запросов. Она объединяет два компонента:
- 3D-меши: создаются с использованием одностадийной диффузионной модели, обеспечивающей высокую детализацию и геометрическую точность.
Текстуры: генерируются с помощью модели TextureGen, которая обеспечивает высокое качество и согласованность текстур.
🆚 Улучшения по сравнению с AssetGen 1.0
Одностадийная генерация: AssetGen 2.0 использует одностадийную диффузионную модель, что позволяет напрямую создавать 3D-объекты из текстовых или визуальных запросов, улучшая качество и сокращая время генерации.
Повышенная детализация: новая архитектура обеспечивает более высокую детализацию и точность геометрии по сравнению с предыдущей версией.
Улучшенные текстуры: TextureGen обеспечивает более высокое качество текстур с улучшенной согласованностью между различными видами объекта.
🌍AssetGen 2.0 уже используется внутри компании для создания 3D-миров и будет доступна для разработчиков Horizon позже в этом году. Планируется также расширение возможностей модели для генерации целых 3D-сцен на основе текстовых или визуальных запросов.
🔗 Подробнее
@data_analysis_ml
AssetGen 2.0 — это новый фреймворк-от способный создавать высококачественные 3D-модели и текстуры на основе текстовых или визуальных запросов. Она объединяет два компонента:
- 3D-меши: создаются с использованием одностадийной диффузионной модели, обеспечивающей высокую детализацию и геометрическую точность.
Текстуры: генерируются с помощью модели TextureGen, которая обеспечивает высокое качество и согласованность текстур.
🆚 Улучшения по сравнению с AssetGen 1.0
Одностадийная генерация: AssetGen 2.0 использует одностадийную диффузионную модель, что позволяет напрямую создавать 3D-объекты из текстовых или визуальных запросов, улучшая качество и сокращая время генерации.
Повышенная детализация: новая архитектура обеспечивает более высокую детализацию и точность геометрии по сравнению с предыдущей версией.
Улучшенные текстуры: TextureGen обеспечивает более высокое качество текстур с улучшенной согласованностью между различными видами объекта.
🌍AssetGen 2.0 уже используется внутри компании для создания 3D-миров и будет доступна для разработчиков Horizon позже в этом году. Планируется также расширение возможностей модели для генерации целых 3D-сцен на основе текстовых или визуальных запросов.
🔗 Подробнее
@data_analysis_ml
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
NVIDIA отправит более 18 000 флагманских Blackwell GB300 в саудовскую компанию-стартап Humain, заявил CEO Джeнсeн Хуанг на инвестиционном форуме в Эр-Рияде. Эти чипы, одни из самых мощных в мире, будут работать в дата-центрах суммарной мощностью 500 мегаватт, помогая строить ИИ-инфраструктуру страны.
Humain, принадлежащая местному суверенному фонду, позже задействует «сотни тысяч» GPU. AMD тоже участвует в проекте, и тоже поставит свои чипы для аналогичной инфраструктуры на $10 млрд.
cnbc.com
Audible объявил о внедрении полного цикла производства аудиокниг на основе ИИ — от перевода до озвучки. В ближайшие месяцы сервис предложит более 100 синтезированных голосов на английском, испанском, французском и итальянском языках с акцентами и диалектами.
Технология поддерживает два варианта перевода: текст-текст (с последующей озвучкой) и речь-речь, сохраняющую стиль оригинального чтеца. Для точности перевода доступна проверка профессиональными лингвистами. Первые тесты перевода стартуют этой осенью.
thebookseller.com
Tencent запустил CodeBuddy, инструмент, который может стать конкурентом Cursor. Он поддерживает автодополнение кода, диагностику ошибок, рефакторинг, написание тестов и ревью, а также работает с экосистемой WeChat.
Особенность сервиса - режим Craft: ИИ понимает задачи на естественном языке и генерирует проекты из нескольких файлов. CodeBuddy поддерживает MCP-протокол, позволяя интегрировать сторонние инструменты без лишних телодвижений. В основе — модели DeepSeek V3 и HunYuan Turbo S, доступные бесплатно. Инструмент совместим с VSCode, Jetbrains и другими IDE.
copilot.tencent.com
Портал videocardz поделился слухами о том, что один из партнеров Intel разрабатывает двухчиповую версию видеокарты Arc B580 с суммарными 48 ГБ видеопамяти. По данным неназванного источника, устройство получит нестандартный дизайн, а его анонс запланирован на ближайшую неделю. Хотя точный бренд пока не называется, известно, что проект не является официальной разработкой Intel и находится под NDA.
При этом, обычная версия B580 с 24 ГБ задерживается на несколько месяцев и есть вероятность, что это связано с "мистической" 48 ГБ-версией. Если информация подтвердится, это станет редким случаем десктопного двухчипового решения в эпоху монопольных GPU. Ждем подробностей на Computex.
videocardz.com
Системный промпт Claude, описывающий поведение модели и ее инструменты, слили в сеть — 16,7 тыс. слов и 24 тыс. токенов. Документ раскрывает детали от формата ответов до методов решения задач, например, как считать буквы в слове «strawberry». В сравнении с 2,2 тыс. словами у OpenAI он гигантский. Большая часть текста посвящена интеграции с MCP-сервером, поисковыми правилами и «горячими исправлениями» для данных после 2024 года.
Andrej Karpathy назвал утечку поводом обсудить новую парадигму обучения ИИ: вместо тонкой настройки весов модели он предложил редактировать промпты вручную, как человек использует заметки. Это должно помочь ИИ запоминать стратегии и адаптироваться к контексту. Однако критики возражают: автономные подсказки могут запутать модель, а без постоянного обучения эффект будет краткосрочным.
news.ycombinator.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Anthropic проводит испытания безопасности новой модели под названием «Клод-Нептун».
Не удивлюсь, если мы скоро увидим Claude 4.
Дарио Амодей в своём последнем интервью говорил, что Claude 4 будет готов через шесть месяцев. Похоже, это время уже подходит.
#Claude
@data_analysis_ml - подписаться
Не удивлюсь, если мы скоро увидим Claude 4.
Дарио Амодей в своём последнем интервью говорил, что Claude 4 будет готов через шесть месяцев. Похоже, это время уже подходит.
#Claude
@data_analysis_ml - подписаться
🎨 Step1X-3D — Генерация текстурированных 3D-объектов нового поколения
Step1X-3D — это открытая исследовательская платформа для высокоточной, воспроизводимой и управляемой генерации текстурированных 3D-ассетов. Проект разработан командой [StepFun](https://github.com/stepfun-ai) и доступен на Hugging Face.
🔧 Основные компоненты
- 📦 Очистка и подготовка данных
Обработано более 5 миллионов 3D-моделей. Отобраны 2 миллиона высококачественных ассетов с нормализованной геометрией и текстурами. Более 800 тысяч объектов доступны открыто.
- 🧠 Двухэтапная генеративная архитектура
1. Генерация геометрии
Используется гибрид VAE + Denoising Diffusion Transformer (DiT) для создания TSDF-представлений. Применяется латентное кодирование и выборка по краевым признакам для детализации.
2. Синтез текстур
Диффузионная модель с геометрическим кондиционированием и согласованием в латентном пространстве для кросс-вью согласованности.
- 🧪 Open Source
Полностью открыт: доступны обученные модели, код, примеры и pipeline для адаптации.
🌟 Особенности
- 🔄 Интеграция 2D → 3D
Поддерживает использование техник управления, таких как LoRA, из 2D генерации — теперь и для 3D-объектов.
- 🥇 SOTA-качество
По ряду метрик превосходит существующие open-source решения и приближается к проприетарным системам.
Step1X-3D задаёт новый стандарт в открытых 3D-исследованиях, объединяя качество, гибкость и открытость для исследователей, разработчиков и креаторов.
- 📄 Hugging Face
- 💻 GitHub
- 🚀 Демо
- ▶️ YouTube
Step1X-3D — это открытая исследовательская платформа для высокоточной, воспроизводимой и управляемой генерации текстурированных 3D-ассетов. Проект разработан командой [StepFun](https://github.com/stepfun-ai) и доступен на Hugging Face.
🔧 Основные компоненты
- 📦 Очистка и подготовка данных
Обработано более 5 миллионов 3D-моделей. Отобраны 2 миллиона высококачественных ассетов с нормализованной геометрией и текстурами. Более 800 тысяч объектов доступны открыто.
- 🧠 Двухэтапная генеративная архитектура
1. Генерация геометрии
Используется гибрид VAE + Denoising Diffusion Transformer (DiT) для создания TSDF-представлений. Применяется латентное кодирование и выборка по краевым признакам для детализации.
2. Синтез текстур
Диффузионная модель с геометрическим кондиционированием и согласованием в латентном пространстве для кросс-вью согласованности.
- 🧪 Open Source
Полностью открыт: доступны обученные модели, код, примеры и pipeline для адаптации.
🌟 Особенности
- 🔄 Интеграция 2D → 3D
Поддерживает использование техник управления, таких как LoRA, из 2D генерации — теперь и для 3D-объектов.
- 🥇 SOTA-качество
По ряду метрик превосходит существующие open-source решения и приближается к проприетарным системам.
Step1X-3D задаёт новый стандарт в открытых 3D-исследованиях, объединяя качество, гибкость и открытость для исследователей, разработчиков и креаторов.
- 📄 Hugging Face
- 💻 GitHub
- 🚀 Демо
- ▶️ YouTube
This media is not supported in your browser
VIEW IN TELEGRAM
📢 Hugging Face теперь интегрирован с Kaggle Notebooks
С сегодняшнего дня пользователи Kaggle могут напрямую использовать любые модели с Hugging Face в своих ноутбуках — без ручной загрузки, настройки токенов и дополнительных библиотек.
🤝 Платформы Hugging Face и Kaggle объявили о партнёрстве, которое позволит участникам соревнований и исследователям работать с новейшими SOTA-моделями буквально "из коробки".
🔥 Это лишь первый шаг: команды уже работают над дальнейшей интеграцией, чтобы сделать работу с HF-моделями ещё удобнее внутри экосистемы Kaggle.
🔗 Попробовать можно прямо сейчас — поддержка уже включена в среду Kaggle Notebooks.
https://huggingface.co/blog/kaggle-integration
С сегодняшнего дня пользователи Kaggle могут напрямую использовать любые модели с Hugging Face в своих ноутбуках — без ручной загрузки, настройки токенов и дополнительных библиотек.
🤝 Платформы Hugging Face и Kaggle объявили о партнёрстве, которое позволит участникам соревнований и исследователям работать с новейшими SOTA-моделями буквально "из коробки".
🔥 Это лишь первый шаг: команды уже работают над дальнейшей интеграцией, чтобы сделать работу с HF-моделями ещё удобнее внутри экосистемы Kaggle.
🔗 Попробовать можно прямо сейчас — поддержка уже включена в среду Kaggle Notebooks.
https://huggingface.co/blog/kaggle-integration
This media is not supported in your browser
VIEW IN TELEGRAM
Устроиться аналитиком в Яндекс за выходные
7–8 июня проводим Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технические собеседования, а 8 июня познакомьтесь с командами и получите офер.
В мероприятии участвует 12 команд: Алиса и Умные устройства, Игры, R&D, Рекламные технологии, Поиск и Суперапп, Безопасность, Коммерческий департамент, Автономный транспорт, Ecom-сценарии Поиска, Качество Поиска, Международный Поиск, Карты. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.
Узнать подробности и зарегистрироваться можно здесь.
Реклама. ООО "Яндекс". ИНН 7736207543
7–8 июня проводим Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технические собеседования, а 8 июня познакомьтесь с командами и получите офер.
В мероприятии участвует 12 команд: Алиса и Умные устройства, Игры, R&D, Рекламные технологии, Поиск и Суперапп, Безопасность, Коммерческий департамент, Автономный транспорт, Ecom-сценарии Поиска, Качество Поиска, Международный Поиск, Карты. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.
Узнать подробности и зарегистрироваться можно здесь.
Реклама. ООО "Яндекс". ИНН 7736207543
🤖 Создание легковесного персонального ассистента на базе Qwen
Хочешь создать собственного ИИ-ассистента, работающего локально? В статье на Machine Learning Mastery показано, как это сделать с помощью модели Qwen1.5-7B-Chat от Alibaba.
🔧 Что понадобится:
- Python
- Библиотеки: transformers, accelerate, bitsandbytes, einops, ipywidgets
- Модель Qwen1.5-7B-Chat с поддержкой 4-битной квантизации для экономии памяти
🛠️ Основные шаги:
1. Установка необходимых библиотек и проверка совместимости
2. Загрузка модели и токенизатора с использованием Hugging Face Transformers
3. Настройка квантизации (4-битной или 8-битной) для оптимизации использования памяти
4. Создание функции генерации ответов с учетом истории чата
5. Реализация пользовательского интерфейса с помощью ipywidgets или командной строки
📈 Преимущества:
- Работа на локальной машине без необходимости подключения к интернету
- Быстрая генерация ответов благодаря квантизации и использованию GPU
- Гибкость в настройке и расширении функциональности ассистента
🔗 Подробнее о процессе создания ассистента читайте в оригинальной статье
Хочешь создать собственного ИИ-ассистента, работающего локально? В статье на Machine Learning Mastery показано, как это сделать с помощью модели Qwen1.5-7B-Chat от Alibaba.
🔧 Что понадобится:
- Python
- Библиотеки: transformers, accelerate, bitsandbytes, einops, ipywidgets
- Модель Qwen1.5-7B-Chat с поддержкой 4-битной квантизации для экономии памяти
🛠️ Основные шаги:
1. Установка необходимых библиотек и проверка совместимости
2. Загрузка модели и токенизатора с использованием Hugging Face Transformers
3. Настройка квантизации (4-битной или 8-битной) для оптимизации использования памяти
4. Создание функции генерации ответов с учетом истории чата
5. Реализация пользовательского интерфейса с помощью ipywidgets или командной строки
📈 Преимущества:
- Работа на локальной машине без необходимости подключения к интернету
- Быстрая генерация ответов благодаря квантизации и использованию GPU
- Гибкость в настройке и расширении функциональности ассистента
🔗 Подробнее о процессе создания ассистента читайте в оригинальной статье
Forwarded from red_mad_robot
Подборка сервисов для быстрой оценки и сравнения LLM
Открытых моделей становится всё больше, а универсального ответа, какую ставить в продукт — нет. Одним важна точность, другим — стоимость, масштабируемость или устойчивость на длинных запросах.
Сравнительные сервисы упрощают этот выбор: они фиксируют поведение в реальных сценариях, агрегируют пользовательские оценки и показывают, какие решения уже в продакшене. Собрали подборку таких платформ.
1️⃣ OpenRouter: рейтинг LLM по реальному использованию
OpenRouter публикует открытый рейтинг моделей, основанный на частоте их использования в реальных продуктах. Это не лабораторные тесты, а фактические данные из прикладных сценариев: кодинг, маркетинг, финтех, технологии.
Рейтинг можно фильтровать по задачам и периоду: за день, неделю, месяц или по росту популярности. Это рыночный барометр: если модель стабильно удерживает лидерство в вашей категории — её используют в продакшене.
2️⃣ Chatbot Arena (LMSYS): парные сравнения моделей
Платформа предлагает формат арены: пользователь задаёт вопрос, а две модели отвечают параллельно. После этого выбирается лучший ответ. По итогам сравнений формируется рейтинг по системе Elo — как в шахматах, только для LLM.
Для моделей на русском языке есть аналог — LLM Arena. Сервис также поддерживает сравнения, голосование за лучший ответ и динамический рейтинг. Включены YandexGPT, GigaChat, MTS AI и другие модели.
3️⃣ Hugging Face: рейтинг по независимым бенчмаркам
В отличие от рейтингов популярности или пользовательских голосов, Hugging Face оценивает модели по результатам стандартных тестов: MMLU (общие знания), BBH (логика), IFEval (следование инструкциям), кодингу, математике и другим. Каждая модель получает баллы по ряду метрик, по которым можно отсортировать модели.
4️⃣ MERA: открытый бенчмарк для русскоязычных LLM
Лидерборд ранжирует модели по результатам фиксированного набора задач: логика, код, знания, этика. Оценка проходит в равных условиях: стандартизированные промпты, единые параметры, открытая методика.
Подходит, если вы работаете с русскоязычными моделями, и вам важна применимость и эффективность в конкретной области.
Какие выводы?
Выбор LLM — это управленческое решение с последствиями для качества, стоимости и скорости продукта. Сравнительные платформы не заменяют пилоты, но позволяют действовать быстрее и точнее:
📍 Отсекать слабые решения до интеграции
📍 Фокусироваться на моделях, которые уже работают в продакшене
📍 Оценивать зрелость open-source вариантов без риска потерь в качестве
Если вы внедряете LLM в продукт, рейтинги помогают действовать не по наитию, а по обоснованным критериям. Но важно не полагаться на один источник — первичную кросс-оценку стоит строить на данных из разных сервисов.
#AI_moment
@Redmadnews
Открытых моделей становится всё больше, а универсального ответа, какую ставить в продукт — нет. Одним важна точность, другим — стоимость, масштабируемость или устойчивость на длинных запросах.
Сравнительные сервисы упрощают этот выбор: они фиксируют поведение в реальных сценариях, агрегируют пользовательские оценки и показывают, какие решения уже в продакшене. Собрали подборку таких платформ.
OpenRouter публикует открытый рейтинг моделей, основанный на частоте их использования в реальных продуктах. Это не лабораторные тесты, а фактические данные из прикладных сценариев: кодинг, маркетинг, финтех, технологии.
Рейтинг можно фильтровать по задачам и периоду: за день, неделю, месяц или по росту популярности. Это рыночный барометр: если модель стабильно удерживает лидерство в вашей категории — её используют в продакшене.
Платформа предлагает формат арены: пользователь задаёт вопрос, а две модели отвечают параллельно. После этого выбирается лучший ответ. По итогам сравнений формируется рейтинг по системе Elo — как в шахматах, только для LLM.
Для моделей на русском языке есть аналог — LLM Arena. Сервис также поддерживает сравнения, голосование за лучший ответ и динамический рейтинг. Включены YandexGPT, GigaChat, MTS AI и другие модели.
В отличие от рейтингов популярности или пользовательских голосов, Hugging Face оценивает модели по результатам стандартных тестов: MMLU (общие знания), BBH (логика), IFEval (следование инструкциям), кодингу, математике и другим. Каждая модель получает баллы по ряду метрик, по которым можно отсортировать модели.
Лидерборд ранжирует модели по результатам фиксированного набора задач: логика, код, знания, этика. Оценка проходит в равных условиях: стандартизированные промпты, единые параметры, открытая методика.
Подходит, если вы работаете с русскоязычными моделями, и вам важна применимость и эффективность в конкретной области.
Какие выводы?
Выбор LLM — это управленческое решение с последствиями для качества, стоимости и скорости продукта. Сравнительные платформы не заменяют пилоты, но позволяют действовать быстрее и точнее:
Если вы внедряете LLM в продукт, рейтинги помогают действовать не по наитию, а по обоснованным критериям. Но важно не полагаться на один источник — первичную кросс-оценку стоит строить на данных из разных сервисов.
#AI_moment
@Redmadnews
Please open Telegram to view this post
VIEW IN TELEGRAM
Если вы размышляете, как усилить своё резюме, наш совет — освойте SQL. Это язык, который помогает извлекать ценную информацию из массивов данных.
Познакомиться с инструментом можно на бесплатном курсе «Введение в SQL и работу с базой данных». За 5 занятий вы научитесь создавать, редактировать и обновлять базы данных, сделаете свои первые запросы и отчёты.
Курс будет полезен даже тем, кто пока не собирается становиться аналитиком. Научитесь применять SQL в своих задачах — с ним вы сможете больше – https://netolo.gy
Реклама. ООО "Нетология". ИНН 7726464125 Erid: 2VSb5xbuDWY
Познакомиться с инструментом можно на бесплатном курсе «Введение в SQL и работу с базой данных». За 5 занятий вы научитесь создавать, редактировать и обновлять базы данных, сделаете свои первые запросы и отчёты.
Курс будет полезен даже тем, кто пока не собирается становиться аналитиком. Научитесь применять SQL в своих задачах — с ним вы сможете больше – https://netolo.gy
Реклама. ООО "Нетология". ИНН 7726464125 Erid: 2VSb5xbuDWY
II-Medical-8B — компактная, но мощная модель , специально разработанная для медицинских задач.
Несмотря на размер, она превосходит более крупные модели, такие как GPT-4.5, по точности и эффективности в клинических тестах.
🔍 Почему это важно
Точность и прозрачность: II-Medical-8B обеспечивает пошаговое клиническое рассуждение, что критично для медицинских приложений.
- Доступность: Модель достаточно компактна, чтобы запускаться локально, обеспечиваяет быстрый и приватный доступ без необходимости в дорогой облачной инфраструктуре.
📍 С лицензией MIT.
Для запуска не требуется GPU
https://huggingface.co/Intelligent-Internet/II-Medical-8B
Несмотря на размер, она превосходит более крупные модели, такие как GPT-4.5, по точности и эффективности в клинических тестах.
🔍 Почему это важно
Точность и прозрачность: II-Medical-8B обеспечивает пошаговое клиническое рассуждение, что критично для медицинских приложений.
- Доступность: Модель достаточно компактна, чтобы запускаться локально, обеспечиваяет быстрый и приватный доступ без необходимости в дорогой облачной инфраструктуре.
📍 С лицензией MIT.
Для запуска не требуется GPU
https://huggingface.co/Intelligent-Internet/II-Medical-8B
❓Зачем Data Scientist изучать ML?
Машинное обучение — это не просто модное словосочетание. Это основа Data Science, без которой успешная карьера в этой области невозможна. Вы не сможете работать с большими данными и обучать ИИ, если не освоите методы ML.
На открытом вебинаре 19 мая в 18:00 мск вы узнаете, зачем вам ML, и научитесь решать реальную задачу: классифицировать изображения с помощью машинного обучения.
📣 Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist и преподаватель в одном из крупнейших университетов России.
➡️ Записывайтесь на открытый вебинар и получите скидку на большое обучение «Специализация Machine Learning»: https://otus.pw/vtKQC/?erid=2W5zFJXRnBi
#реклама
О рекламодателе
Машинное обучение — это не просто модное словосочетание. Это основа Data Science, без которой успешная карьера в этой области невозможна. Вы не сможете работать с большими данными и обучать ИИ, если не освоите методы ML.
На открытом вебинаре 19 мая в 18:00 мск вы узнаете, зачем вам ML, и научитесь решать реальную задачу: классифицировать изображения с помощью машинного обучения.
📣 Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist и преподаватель в одном из крупнейших университетов России.
➡️ Записывайтесь на открытый вебинар и получите скидку на большое обучение «Специализация Machine Learning»: https://otus.pw/vtKQC/?erid=2W5zFJXRnBi
#реклама
О рекламодателе
⚡️ NNCF — фреймворк для сжатия нейросетей без потерь точности. Проект поддерживает квантование, сжатие весов и другие методы как после обучения, так и непосредственно во время тренировки моделей.
Инструмент работает с PyTorch, TensorFlow, ONNX и OpenVINO, предлагая единый API для разных фреймворков. Например, для 8-битного квантования после обучения достаточно 300 примеров калибровочных данных, никаких сложных настроек. Проект имеет интеграцию с HuggingFace Optimum и OpenVINO Training Extensions, а также готовые примеры для классификации изображений, детекции объектов и даже NLP.
🤖 GitHub
@data_analytics_ml
Инструмент работает с PyTorch, TensorFlow, ONNX и OpenVINO, предлагая единый API для разных фреймворков. Например, для 8-битного квантования после обучения достаточно 300 примеров калибровочных данных, никаких сложных настроек. Проект имеет интеграцию с HuggingFace Optimum и OpenVINO Training Extensions, а также готовые примеры для классификации изображений, детекции объектов и даже NLP.
🤖 GitHub
@data_analytics_ml